深度学习已在许多神经影像应用中有效。但是，在许多情况下，捕获与小血管疾病有关的信息的成像序列的数量不足以支持数据驱动的技术。此外，基于队列的研究可能并不总是具有用于准确病变检测的最佳或必需成像序列。因此，有必要确定哪些成像序列对于准确检测至关重要。在这项研究中，我们旨在找到磁共振成像（MRI）序列的最佳组合，以深入基于学习的肿瘤周围空间（EPV）。为此，我们实施了一个有效的轻巧U-NET，适用于EPVS检测，并全面研究了来自易感加权成像（SWI），流体侵入的反转恢复（FLAIR），T1加权（T1W）和T2的不同信息组合 - 加权（T2W）MRI序列。我们得出的结论是，T2W MRI对于准确的EPV检测最为重要，并且在深神经网络中掺入SWI，FLAIR和T1W MRI可能会使精度的提高无关。
translated by 谷歌翻译
Bi-encoders and cross-encoders are widely used in many state-of-the-art retrieval pipelines. In this work we study the generalization ability of these two types of architectures on a wide range of parameter count on both in-domain and out-of-domain scenarios. We find that the number of parameters and early query-document interactions of cross-encoders play a significant role in the generalization ability of retrieval models. Our experiments show that increasing model size results in marginal gains on in-domain test sets, but much larger gains in new domains never seen during fine-tuning. Furthermore, we show that cross-encoders largely outperform bi-encoders of similar size in several tasks. In the BEIR benchmark, our largest cross-encoder surpasses a state-of-the-art bi-encoder by more than 4 average points. Finally, we show that using bi-encoders as first-stage retrievers provides no gains in comparison to a simpler retriever such as BM25 on out-of-domain tasks. The code is available at https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git
translated by 谷歌翻译
最近的工作表明，小型蒸馏语言模型是强大的竞争对手，这些模型是在广泛的信息检索任务中更大且较慢的数量级。由于潜伏期的限制，这使蒸馏而密集的模型是在现实世界检索应用程序中部署的首选选择。在这项工作中，我们通过证明参数和早期查询文档互动的数量在检索模型的概括能力中起着重要作用来质疑这种做法。我们的实验表明，增加模型大小会导致内域测试集的边际增长，但是在微调过程中从未见过的新领域的增长幅度更大。此外，我们表明，在几个任务中，Rerankers在很大程度上都超过了相似大小的密集。我们最大的重读者在基准-IR（BEIR）的18个数据集中的12个数据集中达到了最新技术，并超过了先前的最新水平。最后，我们确认内域的有效性不是零弹性有效性的良好指标。代码可从https://github.com/guilhermemr04/scaling-zero-shot-retrieval.git获得。
translated by 谷歌翻译
MARCO排名数据集已广泛用于培训IR任务的深度学习模型，在不同的零射击方案上实现了相当大的效果。但是，这种类型的资源是英语以外的语言的稀缺。在这项工作中，我们呈现MMARCO，MS Marco段落的多语言版本，该数据集包括使用机器翻译创建的13种语言。我们通过微调单语和多语言重新排名模型以及此数据集的密集多语言模型进行了评估。实验结果表明，在我们翻译的数据集上微调微调的多语言模型可以单独对原始英文版的模型进行微调的卓越效果。我们蒸馏的多语言RE-RANKER与非蒸馏模型具有竞争力，而参数较少的5.4倍。最后，我们展现了翻译质量和检索效果之间的正相关性，提供了证据，即翻译方法的改进可能导致多语言信息检索的改进。翻译的数据集和微调模型可在https://github.com/unicamp-dl/mmarco.git上获得。
translated by 谷歌翻译